Comment Grab a optimisé ses coûts Kafka sur AWS | Silicon

Clément Bohic - Silicon - 21/02
Grab a modifié l'architecture de son cluster Kafka pour réduire le volume de trafic entre zones de disponibilité AWS.

Que se passe-t-il quand les frais de réseau en arrivent à représenter la moitié du coût d’un déploiement Kafka ? Confronté à cette situation, Grab a entrepris de  alors entreprise de modifier l’architecture de son cluster.

La configuration initiale, dans les grandes lignes :

– Hébergement dans une région AWS, sur trois AZ où s’exécutent brokers et clients – Trois réplicas pour chaque partition Kafka – Des clusters rack-aware, de sorte que chaque réplica réside dans une zone de disponibilité différente

Problème avec cette architecture : elle générait beaucoup de trafic entre AZ. La raison : par défaut, les clients Kafk...
[Courte citation de 8% de l'article original]